Pada 10 Jun 2008, Tan Sri Mohamed Rahmat dimasukkan ke Jabatan Nefrologi, Hospital Kuala Lumpur kerana sakit dada. Beliau menjalani pemeriksaan 'CT Brain' bagi menentukan keadaan pendarahan di bahagian otak. [7] Mohamed menghidap penyakit buah pinggang sejak 1999 dan perlu menjalani rawatan dialisis setiap hari.

Pada 1 Januari 2010, Mohamed Rahmat meninggal dunia dalam tidur di rumahnya 42 Jalan Setiajaya, Bukit Damansara, Kuala Lumpur. Jam 8.00 pagi, Puan Sri Salbiah Abdul Hamid mahu mengejutnya bangun daripada tidur dan menutup mesin dialisis yang dipasang pada tubuh suaminya, mendapati suaminya tidak bergerak-gerak.

Solat jenazah diadakan di Masjid Abu Bakar , Damansara . Kemudian dikebumikan di Tanah Perkuburan Islam Bukit Kiara , pada pukul 5.45 petang hari Jumaat . Turut hadir semasa pengkebumian ialah Tun Abdullah Ahmad Badawi ,Datuk Seri Mohd Shafie Apdal, Datuk Seri Dr Ahmad Zahid Hamidi, Datuk Seri Mohamed Khaled Nordin dan Datuk Seri Azmi Khalid.[8]